Hiện ở cụm tháp Bánh Ít có tháp chính, tháp mái và tháp cổng. Đường lên cụm tháp ở phía đông mà bắt đầu là tháp cổng, đằng sau tháp cổng là các tầng, các lớp những phế tích đổ nát, chếch về hướng đông - nam có một tháp gạch lớn như tháp cổng. Tháp cổng và tháp đông - nam này là hai kiến trúc hiện còn ở vòng ngoài hay tầng ngoài cùng của khu tháp Bánh Ít

Ngay đằng sau tháp cổng, trên nền tầng thứ nhất hiện còn dấu tích của một tòa nhà chạy dọc theo hướng đông - tây và đối diện với ngọn tháp chính bên trên

Sau tòa nhà dài là một lối tam cấp rất dốc dẫn lên tầng kiến trúc bên trên và tới một con đường đi thẳng tới ngôi tháp chính, hiện nay ở tầng trên cùng của quả đồi chỉ còn lại hai kiến trúc gạch đó là tháp thờ trung tâm và tòa tháp mái cong hình yên ngựa ở phía nam. Bao quanh khu kiến trúc trên cùng này là một vòng đai đường mà giờ chỉ còn lại dấu tích của những ổ gạch